scrapy pycharm调试

1.参考网站
https://blog.csdn.net/heyifei88/article/details/53197797

2.另一种方式(更好一些)

1
2
3
4
5
6
7
8
import sys
import os
from scrapy.cmdline import execute

# 获取当前文件所在目录
current_dir = os.path.dirname(os.path.abspath(__file__)) # 当前文件的绝对路径,然后再找他的父级目录
sys.path.append(current_dir) # 将当前路径加入到path中
execute(['scrapy', 'crawl', '爬虫名','参数'])

例如:

1
2
3
4
5
6
7
8
import sys
import os
from scrapy.cmdline import execute

# 获取当前文件所在目录
current_dir = os.path.dirname(os.path.abspath(__file__)) # 当前文件的绝对路径,然后再找他的父级目录
sys.path.append(current_dir) # 将当前路径加入到path中
execute(['scrapy', 'crawl', 'quotes', '-o quotes1.jl'])

也可以不带参数:

1
2
···
execute(['scrapy', 'crawl', 'quotes'])

-------------本文结束 感谢您的阅读-------------